《ESL》学习笔记

假设输入向量为 x = ( x 1 ; x 2 ; . . . ; x n ) x=(x_1;x_2;...;x_n) x=(x1​;x2​;...;xn​)，设 x ^ = ( x ; 1 ) \hat x=(x;1) x^=(x;1),则预测的输出表示为： y ^ = x ^ T β ^ \hat y=\hat x^T\hat \beta y^​=x^Tβ^​ β ^ \hat \beta β^​为待估计参数。

β ^ = ( X T X ) − 1 X T y ⃗ \hat \beta=(X^TX)^{-1}X^T\vec y β^​=(XTX)−1XTy ​ 问题：如何使用矩阵求导得到最小二乘的解？

y ^ = 1 k ∑ x i ∈ N k ( x ) y i \hat y=\frac{1}{k}\sum_{x_i\in N_k(x)}y_i y^​=k1​xi​∈Nk​(x)∑​yi​ 当k=1时即为最近邻模型

对应了特征空间的划分

设 L ( x ) L(x) L(x)表示损失函数，则期望预测误差表示为： E P E ( f ) = E T [ L ( y − f ( x ) ) ] EPE(f)=E_T[L(y-f(x))] EPE(f)=ET​[L(y−f(x))] 而 E P E ( f ) EPE(f) EPE(f)是选择决策函数 f f f的重要判断依据

当损失函数为平方损失函数时，预测问题为回归问题时， E P E ( f ) EPE(f) EPE(f)可以分解为偏差与方差之和。此时， E P E ( f ) EPE(f) EPE(f)即 M S E ( f ) MSE(f) MSE(f)（均分误差），并有 M S E ( x 0 ) = E T [ f ( x 0 ) − y ^ 0 ] 2 = E T [ y ^ 0 − E T ( y ^ 0 ) ] 2 + E T [ E T ( y ^ 0 ) − f ( x 0 ) ] 2 MSE(x_0)=E_T[f(x_0)-\hat y_0]^2=E_T[\hat y_0-E_T(\hat y_0)]^2+E_T[E_T(\hat y_0)-f(x_0)]^2 MSE(x0​)=ET​[f(x0​)−y^​0​]2=ET​[y^​0​−ET​(y^​0​)]2+ET​[ET​(y^​0​)−f(x0​)]2 其中 f ( x ) f(x) f(x)表示真实函数，分解的两项中前者为方差，后者为偏差。

在 E P E ( f ) EPE(f) EPE(f)中引入表征结构复杂度的罚项，实际上是将对解空间模糊性的克服转换为对约束条件（罚项）的选择

均方误差可以分解为偏差和方差之和，在不同的情况下，起支配作用的对象不同，比如当真实函数用到输入数据的多维情况时，偏差容易起到支配作用；而当真实函数仅仅用到输入数据的少量维度时，方容易起到支配作用。 ↩︎